Mặc dù rất quan tâm đến đạo Nho, nhưng các vua Nguyễn cũng không thể phủ nhận đạo Phật và đạo Lão. Do đó, ngoài việc lập Văn Thánh thờ Khổng Tử, các vị ấy còn cho sửa sang nhiều ngôi quốc tự để thờ Phật, xây dựng quán để thờ Lão Tử. Song, Văn Thánh và chùa thờ Phật được dựng ở nhiều địa phương trong cả nước, riêng Linh Hựu quán thờ Lão Tử thì chỉ có ở Kinh đô Huế và chỉ có một mà thôi. Các pháp sư, đạo sĩ làm việc ở quán đều do triều đình bổ nhiệm và cấp bổng lộc [1].

Vị trí, tầm vóc và cảnh quang của Linh Hựu quán đã được miêu tả trong tập "Kinh sư" của bộ Đại Nam nhất thống chí của Quốc sử quán triều Nguyễn như sau:

Linh Hựu quán ở phường Ân Thịnh về phía Bắc Ngự Hà trong kinh thành, dựng từ năm Minh Mạng thứ 10 (1829), giữa là điện Trùng Tiêu, phía tả là gác Từ Vân, phía hữu là gác Tường Quang, phía trước là cửa Tam Quan, lại trước mặt trông ra Ngự Hà dựng cửa Linh Tinh. Năm Thiệu Trị thứ 3, tập thơ Thánh chế vịnh 20 cảnh thần kinh có một bài đầu đề là: Linh quán khánh vận (Tiếng khánh ở quán Linh Hựu), khắc vào bia và dựng nhà bia ở phía tả cửa quán [2]